Thỏa thuận trong cùng một quan sát viên là gì?

Định nghĩa về thỏa thuận trong cùng một quan sát viên

Thỏa thuận trong cùng một quan sát viên, hay còn gọi là độ tin cậy nội quan sát viên (intra-rater reliability), là chỉ số thể hiện mức độ nhất quán mà một cá nhân duy nhất đưa ra khi thực hiện các đánh giá, phân loại hoặc đo lường lặp lại trong các thời điểm khác nhau. Chỉ số này đặc biệt quan trọng khi đánh giá các hiện tượng mang tính chủ quan hoặc không dễ định lượng bằng máy móc, đòi hỏi người thực hiện phải đưa ra quyết định hoặc phân tích cá nhân.

Ví dụ điển hình có thể thấy trong lĩnh vực chẩn đoán hình ảnh y học, khi một bác sĩ X-quang xem lại cùng một hình ảnh CT vào hai thời điểm khác nhau. Nếu kết luận của bác sĩ vẫn giống nhau, điều đó phản ánh độ thỏa thuận nội quan sát viên cao. Ngược lại, nếu kết luận khác nhau, điều này cho thấy tính nhất quán thấp, có thể ảnh hưởng đến độ tin cậy của chẩn đoán và hiệu quả điều trị.

Trong bối cảnh nghiên cứu khoa học, chỉ số này thường được sử dụng để đánh giá độ ổn định và khả năng tái lập của phương pháp đo hoặc quy trình đánh giá do con người thực hiện. Việc không kiểm soát được biến động nội bộ trong một người đánh giá có thể dẫn đến dữ liệu không chính xác và gây nhiễu cho phân tích thống kê.

Tầm quan trọng của thỏa thuận trong cùng một quan sát viên

Thỏa thuận nội quan sát viên không chỉ là một chỉ số kỹ thuật, mà còn là yếu tố cốt lõi trong việc bảo đảm độ tin cậy của dữ liệu định tính và định lượng. Trong các nghiên cứu mà người đánh giá là công cụ chính, ví dụ như phỏng vấn bán cấu trúc, quan sát hành vi hoặc phân tích nội dung, thì việc đảm bảo người đánh giá không thay đổi tiêu chuẩn cá nhân theo thời gian là rất quan trọng.

Một nghiên cứu với độ thỏa thuận nội quan sát viên thấp có thể bị đánh giá là thiếu độ tin cậy, cho dù các kết quả thống kê có vẻ mạnh mẽ. Trong thực hành lâm sàng, điều này có thể dẫn đến việc điều trị không chính xác, do kết quả chẩn đoán phụ thuộc vào thời điểm và trạng thái tâm lý của người đánh giá. Do đó, tính nhất quán nội tại không những ảnh hưởng đến kết quả nghiên cứu, mà còn có thể ảnh hưởng đến tính mạng và sức khỏe của bệnh nhân trong các lĩnh vực ứng dụng.

Một số tình huống điển hình cho thấy tính cấp thiết của chỉ số intra-rater reliability:

• Giáo viên chấm điểm bài thi văn học theo cảm xúc cá nhân và thay đổi giữa các lần chấm.
• Chuyên viên phân tích dữ liệu mã hóa hành vi trẻ em từ video, đưa ra kết quả khác nhau khi xem lại cùng một đoạn ghi hình.
• Bác sĩ đánh giá mức độ tổn thương mô trong nội soi, với kết luận không thống nhất giữa các lần xem lại video.

Phân biệt với thỏa thuận giữa các quan sát viên

Khái niệm intra-rater reliability thường dễ bị nhầm lẫn với inter-rater reliability – tức thỏa thuận giữa nhiều người đánh giá. Trong khi intra-rater tập trung vào sự ổn định cá nhân của một người qua thời gian, thì inter-rater phản ánh mức độ nhất quán giữa nhiều người đánh giá khác nhau, đối với cùng một tập hợp đối tượng hay hiện tượng.

Sự phân biệt này có ý nghĩa lớn trong thiết kế nghiên cứu và kiểm soát sai số. Ví dụ, nếu một nghiên cứu đánh giá sự đồng thuận của ba bác sĩ trong chẩn đoán tổn thương mô mềm, thì đó là inter-rater reliability. Nếu mục tiêu là kiểm tra xem một bác sĩ có thể tự đánh giá chính xác và ổn định trong nhiều lần chẩn đoán hay không, thì đó là intra-rater reliability. Cả hai chỉ số đều cần được phân tích riêng biệt vì chúng phản ánh các khía cạnh khác nhau của tính tin cậy.

Bảng so sánh nhanh dưới đây giúp làm rõ sự khác biệt giữa hai khái niệm:

Tiêu chí	Intra-rater reliability	Inter-rater reliability
Người đánh giá	Một cá nhân	Nhiều cá nhân
Số lần đánh giá	Nhiều lần	Thông thường chỉ một lần
Thời điểm đánh giá	Khác nhau	Giống nhau hoặc gần thời điểm
Ý nghĩa	Kiểm tra độ ổn định cá nhân	Kiểm tra sự thống nhất giữa người

Các phương pháp đo lường thỏa thuận trong cùng một quan sát viên

Việc đo lường intra-rater reliability đòi hỏi sử dụng các công cụ và chỉ số thống kê phù hợp với loại dữ liệu được thu thập (phân loại, thứ tự, liên tục). Không có một phương pháp duy nhất phù hợp cho mọi trường hợp, do đó việc lựa chọn kỹ thuật thống kê phù hợp là một bước quan trọng trong phân tích.

Một số phương pháp phổ biến bao gồm:

1. Kappa statistic: Áp dụng với dữ liệu phân loại, đo lường mức độ nhất quán vượt lên trên ngẫu nhiên. Được định nghĩa như sau: $\kappa = \frac{P_o - P_e}{1 - P_e}$ Trong đó $P_o$ là xác suất quan sát thực tế có sự nhất quán, còn $P_e$ là xác suất có sự nhất quán một cách ngẫu nhiên.
2. Intraclass Correlation Coefficient (ICC): Phù hợp với dữ liệu liên tục, kiểm tra mức độ tương quan giữa các lần đo lặp lại. ICC có nhiều biến thể, phù hợp với thiết kế nghiên cứu khác nhau (một chiều, hai chiều, đo trung bình hay từng phiên).
3. Hệ số tương quan Pearson hoặc Spearman: Dùng khi đánh giá mức độ tuyến tính hoặc thứ tự giữa các lần đánh giá. Tuy nhiên, hai hệ số này không phản ánh được sai số tuyệt đối và có thể không phù hợp khi dữ liệu có nhiều phân loại trùng nhau.

Các phần mềm thống kê như SPSS, R, hoặc GraphPad đều hỗ trợ tính toán các chỉ số trên. Tuy nhiên, người nghiên cứu cần hiểu rõ bản chất và giới hạn của mỗi phương pháp để chọn đúng chỉ số.

Yêu cầu trong thiết kế nghiên cứu

Để đánh giá intra-rater reliability một cách chính xác, cần xây dựng thiết kế nghiên cứu đảm bảo kiểm soát tốt các biến gây nhiễu và sai số tiềm ẩn. Trọng tâm là tạo ra điều kiện đánh giá lặp lại mà vẫn hạn chế tối đa ảnh hưởng từ yếu tố ghi nhớ, học tập hoặc thiên kiến của người đánh giá.

Một thiết kế cơ bản để kiểm tra độ tin cậy nội quan sát viên thường bao gồm:

• Lặp lại quá trình đánh giá ít nhất hai lần với cùng một tập hợp dữ liệu hoặc mẫu đối tượng.
• Khoảng cách thời gian giữa hai lần đánh giá đủ dài để giảm thiểu trí nhớ ngắn hạn nhưng không quá dài để đối tượng hoặc tình trạng đánh giá thay đổi thực sự.
• Người đánh giá không được biết các kết quả đánh giá lần trước (blinded assessment).
• Quy trình đánh giá được chuẩn hóa tuyệt đối: hướng dẫn, tiêu chí, phương tiện hỗ trợ đều cần giữ nguyên.

Ví dụ, trong một nghiên cứu về phân loại mức độ viêm khớp gối trên phim MRI, một bác sĩ chuyên khoa xương khớp có thể được yêu cầu đánh giá lại cùng một bộ phim sau 3 tuần, trong điều kiện không biết kết quả lần trước. Các dữ liệu này sau đó được so sánh và tính chỉ số ICC hoặc Kappa để xác định mức độ nhất quán.

Ảnh hưởng của đào tạo và kinh nghiệm

Khả năng đánh giá ổn định phụ thuộc nhiều vào kỹ năng, kinh nghiệm và mức độ đào tạo của người thực hiện. Người có ít kinh nghiệm hoặc chưa được huấn luyện đầy đủ thường thể hiện intra-rater reliability thấp hơn so với chuyên gia đã qua đào tạo tiêu chuẩn hóa.

Nhiều nghiên cứu cho thấy rằng việc áp dụng các chương trình đào tạo bài bản, sử dụng tiêu chuẩn minh họa (ví dụ ảnh mẫu, video huấn luyện), và hướng dẫn trực quan có thể cải thiện đáng kể mức độ nhất quán nội quan sát viên. Một bài báo trên PubMed cho thấy nhóm bác sĩ được huấn luyện bằng mô phỏng 3D đạt chỉ số Kappa cao hơn 0.8 trong khi nhóm không huấn luyện chỉ đạt khoảng 0.6.

Những yếu tố ảnh hưởng chính đến intra-rater reliability có thể kể đến:

• Chất lượng huấn luyện ban đầu
• Thời gian thực hành và kinh nghiệm lâm sàng
• Mức độ quen thuộc với công cụ hoặc phương pháp đánh giá
• Khả năng tập trung và yếu tố tâm lý (mệt mỏi, căng thẳng)

Ứng dụng thực tế trong các lĩnh vực

Intra-rater reliability có ứng dụng rộng rãi trong nhiều ngành, từ khoa học tự nhiên đến khoa học xã hội. Dưới đây là một số ví dụ cụ thể cho thấy tính thực tiễn và cần thiết của chỉ số này.

Trong y học: Bác sĩ chẩn đoán hình ảnh sử dụng intra-rater reliability để kiểm tra độ ổn định của việc xác định kích thước khối u, phát hiện tổn thương mô, hay phân loại giai đoạn bệnh. Nếu cùng một bác sĩ đưa ra đánh giá khác nhau trong các lần xem lại hình ảnh, điều đó có thể dẫn đến thay đổi phác đồ điều trị không cần thiết.

Trong giáo dục: Giáo viên hoặc giám khảo chấm điểm các bài luận văn, bài thi mở. Độ ổn định trong tiêu chí chấm là bắt buộc để bảo đảm công bằng cho học sinh. Một giảng viên có thể được yêu cầu chấm cùng một bài thi vào hai thời điểm khác nhau để đánh giá mức độ nhất quán.

Trong tâm lý học: Nhà nghiên cứu hành vi đo lường các biểu hiện cảm xúc, hành vi xã hội hoặc phản ứng của đối tượng nghiên cứu. Việc người đánh giá giữ được tiêu chí phân loại không thay đổi là yếu tố then chốt để bảo vệ tính hợp lệ của nghiên cứu.

Hạn chế và các yếu tố ảnh hưởng

Mặc dù cần thiết, việc đo lường intra-rater reliability gặp nhiều hạn chế trong thực tế. Một số yếu tố có thể làm giảm độ tin cậy này bao gồm:

• Hiệu ứng học tập (learning effect): Người đánh giá có thể nhớ lại cách phân tích hoặc đáp án cũ.
• Thay đổi tiêu chí nội tại: Người đánh giá tự điều chỉnh hoặc thay đổi ngầm các tiêu chí đánh giá sau mỗi lần.
• Yếu tố tâm sinh lý: Căng thẳng, mệt mỏi, mất ngủ có thể làm thay đổi khả năng phân tích hoặc nhận định.
• Thiếu chuẩn hóa trong quy trình: Nếu quy trình không được kiểm soát chặt, độ lặp lại sẽ thấp hơn.

Ví dụ, trong nghiên cứu định lượng hành vi của trẻ tự kỷ, nếu người đánh giá thay đổi tiêu chí về “hành vi gây rối” giữa các lần đánh giá mà không nhận ra, kết quả sẽ thiếu nhất quán. Điều này gây ảnh hưởng nghiêm trọng đến độ tin cậy của nghiên cứu.

Chiến lược cải thiện độ tin cậy nội quan sát viên

Để nâng cao intra-rater reliability, cần áp dụng các chiến lược vừa kỹ thuật vừa đào tạo nhằm ổn định quá trình đánh giá. Một số biện pháp bao gồm:

• Xây dựng quy trình đánh giá chi tiết, minh bạch và có thể tái lập.
• Áp dụng tiêu chuẩn mô tả rõ ràng và đi kèm ví dụ cụ thể (video, hình ảnh).
• Sử dụng checklist hoặc biểu mẫu định lượng để giới hạn biến số chủ quan.
• Tổ chức huấn luyện lặp lại định kỳ để giữ ổn định về tiêu chí.
• Tích hợp công nghệ hỗ trợ, ví dụ AI gợi ý phân loại hoặc đánh giá sơ bộ.

Các ngành y khoa đã ứng dụng phần mềm hỗ trợ chẩn đoán dựa trên dữ liệu học máy để tăng tính nhất quán trong đánh giá nội bộ bác sĩ, đặc biệt trong lĩnh vực hình ảnh y học và mô học.

Tài liệu tham khảo

1. McHugh, M. L. (2012). Interrater reliability: the kappa statistic. Biochemia Medica, 22(3), 276–282. Link
2. Hallgren, K. A. (2012). Computing inter-rater reliability for observational data: an overview and tutorial. Tutorials in Quantitative Methods for Psychology, 8(1), 23–34. Link
3. Koo, T. K., & Li, M. Y. (2016). A Guideline of Selecting and Reporting Intraclass Correlation Coefficients for Reliability Research. Journal of Chiropractic Medicine, 15(2), 155–163. Link
4. Portney, L. G., & Watkins, M. P. (2015). Foundations of Clinical Research: Applications to Practice (3rd ed.). F.A. Davis Company.
5. Shoukri, M. M. (2010). Measures of Interobserver Agreement and Reliability (2nd ed.). CRC Press.
6. Hsu, L. L., et al. (2019). Simulation-enhanced learning in radiology education improves intra-rater agreement. Medical Education, 53(9), 877–888. Link